kv缓存

Kimi又开源了！KV缓存暴砍75%，解码速度飙6倍

今天凌晨，大模型独角兽月之暗面开源混合线性注意力架构Kimi Linear，该架构首次在短上下文、长上下文、强化学习扩展机制等各种场景中超越了Transformer架构的全注意力机制（Full Attention）。

月之暗面刚刚推出了一个非常牛的全新的注意力架构Kimi Linear，有望成为下一代Agent LLM的基石技术。月之暗面已经放出了技术报告《KIMI LINEAR：一种高表达力且高效的注意力结构》并开源了核心代码，注意不是水论文，而是已经在内部得到严格验证